Sau đó, ông được Trung ương điều động làm Thường vụ quân khu uỷ, phụ trách việc xây dựng các lực lượng quân sự toàn quân khu Việt Bắc, trực tiếp làm Chính uỷ Mặt trận đường số 4, kiêm Chính uỷ Trung đoàn 28 Lạng Sơn, rồi được giao nhiệm vụ đi chuẩn bị cho quân ta mở chiến dịch đường số 18 (Hoàng Hoa Thám), và chiến dịch Quang Trung (Liên khu 3). Sau khi chiến dịch Quang Trung kết thúc thắng lợi, Trung ương Đảng lại quyết định cử ông tham gia Thường vụ khu uỷ và trực tiếp làm Tư lệnh Liên khu 3.

Tháng 5/1954, Liên khu đã có những trận đánh thắng lợi, để phối hợp với chiến dịch Điện Biên Phủ, Bộ tư lệnh khu đã trực tiếp chỉ đạo và chỉ huy lực lượng chiến đấu từng bước để giải phóng hoàn toàn các tỉnh thuộc liên khu. Ông vinh dự lần thứ 2 vào giải phóng Thành phố Nam Định, sau đó lại trực tiếp truy kích địch lên tận đường số 6.

Sau chiến thắng Điện Biên Phủ, Hiệp định Giơnevơ được ký kết, hoà bình được lập lại ở miền Bắc, ông được Trung ương và Thủ đô Hà Nội giao cho nhiệm vụ tổ chức Đại đoàn bảo vệ Trung ương và Hà Nội và trực tiếp làm Đại đoàn trưởng kiêm Chính uỷ, tham gia Ủy ban Quân chính Hà Nội[1]. Năm 1955 - 1957 ông là Ủy viên Thường vụ Ban Chấp hành Đảng bộ thành phố Hà Nội [2].

Năm 1958 ông được thăng quân hàm Đại tá.